Data Crawling SS 2026

Die zunehmende Verfügbarkeit strukturierter Daten im Internet stellt eine immer wichtigere Datenquelle für die wirtschafts- und managementwissenschaftliche Forschung dar. Ein großer Teil dieser strukturierten Daten kann jedoch nicht direkt heruntergeladen werden, sondern ist lediglich über Webseiten zugänglich.

Die manuelle Extraktion von Inhalten aus Webseiten ist aufwendig und wird mit zunehmendem Umfang der zugrunde liegenden Daten schnell undurchführbar. Eine Lösung besteht darin, diese Daten systematisch mithilfe eigens dafür entwickelter automatisierter Programme, sogenannter Crawler, zu extrahieren.

Ziel dieses Kurses ist es, ein fundiertes Verständnis der Möglichkeiten des Crawlings zu vermitteln und zugleich ausreichend Zeit für die Arbeit an einem eigenen Crawling-Projekt bereitzustellen.

• Der Kurs findet auf Englisch statt.
• Die Zahl der Teilnehmenden ist auf 20 begrenzt.
• Anmeldung: Bitte melden Sie sich über dieses Google-Formular an: https://forms.gle/7obSxWGC31RTccEx8
• Die Anmeldefrist endet am 17. Juli 2026.
• Die Anmeldung ist verbindlich. Die Plätze werden grundsätzlich nach dem Prinzip „Wer zuerst kommt, mahlt zuerst“ vergeben. Fortgeschrittene MBR-Studierende können jedoch bevorzugt berücksichtigt werden.

• Termine: 20. bis 23. Juli 2026, jeweils von 10:00 bis 17:00 Uhr
• Ort: Seminarraum 202, Kaulbachstraße 45

• Anrechnung: 2 SWS für das Modul B/I
• Prüfungsleistung: Die erfolgreiche Teilnahme wird anhand des Kursprojekts festgestellt.

Im Kurs werden die folgenden Themen behandelt:

• Wann ist Crawling sinnvoll?

Bevor ein Crawling-Projekt begonnen wird, sollte sorgfältig geprüft werden, ob Crawling tatsächlich das geeignete Instrument zur Beschaffung der gewünschten Daten ist. Dabei behandeln wir Aspekte wie den Datenumfang, die Struktur der Daten sowie technische Schutzmaßnahmen von Webseitenbetreibern.

• Wie lassen sich die herunterzuladenden Beobachtungen bestimmen?

Eine zentrale Herausforderung vieler Crawling-Projekte besteht darin, dass häufig keine vollständige Liste aller Unterseiten einer Domain verfügbar ist, die in den Crawling-Prozess einbezogen werden sollen. Wir betrachten verschiedene Ansätze zur Lösung dieses Problems, darunter die Nutzung von Sitemaps, APIs, fortlaufenden IDs und Schneeballverfahren.

• Wie wird das eigentliche Crawling durchgeführt?

Eine erste wichtige Entscheidung bei der Einrichtung eines Crawling-Prozesses betrifft die Frage, ob dieser als einmalige Aufgabe oder als wiederkehrender Prozess angelegt werden soll. Bei einem wiederkehrenden Prozess werden dieselben Webseiten regelmäßig besucht, um Paneldaten zu erstellen.
Anschließend befassen wir uns mit der praktischen Funktionsweise des Crawlings. Dazu programmieren wir zunächst einfache Crawler in Python und behandeln darüber hinaus fortgeschrittene Themen wie das parallele Ausführen mehrerer Crawler-Instanzen.

• Wie werden Inhalte extrahiert?

Der vom Webserver heruntergeladene HTML-Rohcode kann in der Regel nicht unmittelbar verwendet werden. Bevor die erhobenen Daten genutzt werden können, müssen die gewünschten Informationen zunächst aus den Rohdaten extrahiert beziehungsweise „geparst“ werden.
Abhängig von der Komplexität des Projekts erfolgt das Parsen entweder direkt während des Crawling-Prozesses oder in einem separaten Arbeitsschritt. Wir führen in das Konzept regulärer Ausdrücke sowie in ein Parsing-Framework ein und zeigen, wie sich damit strukturierte Informationen auf einer Webseite identifizieren lassen.

• Wie werden die erhobenen Daten verarbeitet?

Abhängig von der zeitlichen Dimension des Crawling-Prozesses und dem Umfang des Crawls kann es anspruchsvoll sein, die Daten zu verwalten und in ein Format zu überführen, das von Statistikprogrammen verarbeitet werden kann.
Bei größeren Projekten kann es sinnvoll sein, die Daten direkt in einer relationalen Datenbank zu speichern. Bei kleineren Projekten kann hingegen die Speicherung in einfachen Textdateien ausreichend sein, die anschließend in Statistikprogramme importiert werden.
Darüber hinaus besprechen wir, wie gecrawlte Daten durch Informationen aus proprietären Datenbanken ergänzt werden können, und durchlaufen den gesamten Aufbereitungsprozess bis zu dem Punkt, an dem Regressionsanalysen durchgeführt werden können.